Case2Flow: Bridging Patient Cases and Guideline Flowcharts through Multimodal Retrieval
Case2Flow：面向患者病例的指南流程图多模态检索
🧭 多模态检索 · 医疗流程图
Karlsruhe Institute of Technology · Helmholtz Information and Data Science School for Health (HIDSS4Health) · University Hospital Essen
提出训练-free 的 CRISP 评分，抑制无用 patch 并加入双向对齐，显著提升病例到流程图检索
📌 工作参考价值（4 点）
- CRISP 的 patch 抑制与歧义 token 折扣可直接迁移到商品主图/广告创意的多模态检索：背景杂乱、促销文案 token 常引入伪匹配，在 late-interaction 阶段做后处理即可提升 Recall，无需重训模型。
- 双向 query-image 对齐思路适用于“用户 query ↔ 创意/商品图”互搜场景，能降低单向相似度误报，可作为排序重打分模块加入现有召回链路。
- FlowAtlas 的合成对齐数据管线（从结构化文档/决策树生成 case-flowchart 对）可借鉴用于生成电商 SOP/政策文档与商品或广告场景的匹配对，低成本构造多模态检索训练/评测数据。
- 失败模式分析（关键词过度依赖、背景 patch 匹配）值得在电商图文检索评估中复现，帮助定位精排模型偏置。